

"""
    逻辑回归：逻辑回归就是解决二分类问题的利器

        逻辑回归的输入就是线性回归的输出

    公式：
        1/1+e-h(w)
        输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值

    回归损失：对数似然损失

    准确率：
    精确率：预测结果为正例样本中真实为正例的比例
    召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）
    F1-score：评估模型稳健性

    假设这样一个情况，如果99个样本癌症，
    1个样本非癌症，
    不管怎样我全都预测正例(默认癌症为正例),
    但是这样效果并不好，这就是样本不均衡下的评估问题
    准确率: 99 = 99/100
    召回率：99/99 =100%
    精确率：99/100 = 99%
    F1—score = 2*99%*100%/99%+100%=99.4%

    ROC曲线与AUC指标
        TPR = TP / (TP + FN)
        所有真实类别为1的样本中，预测类别为1的比例  召回率   100%
        FPR = FP / (FP + FN)
        所有真实类别为0的样本中，预测类别为1的比例   100%

    AUC的概率意义是随机取一对正负样本，正样本得分大于负样本的概率
    AUC的最小值为0.5，最大值为1，取值越高越好
    AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
    0.5<AUC<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。


    癌症
        真实    预测
        4       2
        4       2
        2       2
        2       2
        2       2
        2       2
        4       4

    聚类
        K-means
    轮廓系数


    转换器：
    估计器：
    用于分类的估计器
        sklearn.neighbors k-近邻算法
        sklearn.naive_bayes 贝叶斯
        sklearn.linear_model.LogisticRegression 逻辑回归
        sklearn.tree 决策树与随机森林
    用于回归的估计器：
        sklearn.linear_model.LinearRegression 线性回归
        sklearn.linear_model.Ridge 岭回归
    用于无监督学习的估计器
        sklearn.cluster.KMeans 聚类

    欧式距离
"""


